iT邦幫忙

2023 iThome 鐵人賽

DAY 26
0
自我挑戰組

深度學習的學習 & ASR 中文語音辨識系列 第 26

【Day 26】Whisper model 的快樂 Fine-tuning 時間

  • 分享至 

  • xImage
  •  

鐵人賽也到了尾聲,也該把重要的東西寫一寫了

接下來 Fine-tuning 都是以這篇文章的內容下去實作,可以在 openai/whisper 系列的 Fine-Tuning 那區找到連結

我從上面的區塊一路講下去
那因為主要是在 Colab 上面做,所以這邊環境就比較單純簡單了,畢竟每次都會重開
建議可以把他的 Colab 複製一分到自己雲端比較方便


建議把 Colab 轉成英文,字體比較好看
https://ithelp.ithome.com.tw/upload/images/20231012/20163287GFwS0uQyiM.jpg

Prepare Environment

第一區是在確認你的環境是否有 GPU,用 Colab 請一定要記得這裡要換環境!
在 Colab 右上角可以設定
https://ithelp.ithome.com.tw/upload/images/20231012/201632873KBpIEpckb.jpg
然後選 T4 GPU 即可
https://ithelp.ithome.com.tw/upload/images/20231012/20163287V30z6mZaxO.jpg

接著是下載套件,其中要注意的是,這個 cell 的最後一行請加上 !pip install accelerate -U 可以避免後面出現 Error

!pip install datasets>=2.6.1
...
!pip install gradio
!pip install accelerate -U

再來是要去 huggingface 🤗 的帳號拿一組 token 過來這邊用
https://ithelp.ithome.com.tw/upload/images/20231012/20163287R6UTiPug5l.jpg
如果沒有跑這一塊:

  1. 做好的模型沒辦法上傳到 huggingface
  2. 不能使用類似 common_voice 他們的 Datasets
  3. 這次模型訓練完,下次登入就沒了

我建議這邊新增一個 cell,是來連接你的 Google drive
這樣你可以存取雲端硬碟裡面的資料,如果你有自己的檔案想匯入,我覺得這樣會比較方便

from google.colab import drive
drive.mount('/content/drive')

想知道現在的路徑也可以用 !pwd 來看一下

環境的部分到這邊,接下來就是特徵提取等等的東西要拿來用,也將選擇我們的語言

小心得

急急忙忙急急忙忙


上一篇
【Day 25】Fine-tuning 的一些準備 - huggingface 上的 Whisper model (cont.)
下一篇
【Day 27】Whisper model 的快樂 Fine-tuning 時間 - 2
系列文
深度學習的學習 & ASR 中文語音辨識30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言